在1990年代,有一些學生和科學家開始嘗試建立搜尋系統。當時的互聯網不像現在這樣發達,他們嘗試解決文件查找的難題。
在1990年,加拿大麥吉爾大學的學生Alan Emtage和他的團隊創建了一個叫做"Archie"的系統。這個系統的作用是定期搜集各個FTP伺服器上的檔案名單,然後建立一個索引,使用戶可以進行檔案查詢。儘管這個系統出現在"World Wide Web"(WWW)之前,而且它索引的內容也不同於現代搜尋引擎,但它使用了一些與現代搜尋引擎相似的技術,因此被視為現代搜尋引擎的始祖。
1991年,明尼蘇達大學的學生Mark McCahill設計了一種名為"Gopher"的協定,用於在互聯網上傳輸和分享文件。之後還出現了一些類似"Archie"的工具,比如"Veronica"和"Jughead",它們都是基於"Gopher"協定的搜索工具。
在同一時期,英國的電腦科學家Tim Berners-Lee提出了一個概念,他將超文字與互聯網相結合,並稱之為"World Wide Web"(WWW)。隨後,他創建了第一個WWW網頁,以及瀏覽器和伺服器。自此之後,WWW成為了互聯網的主流,帶來了WWW時代。搜尋引擎也逐漸從FTP和Gopher過渡到WWW,並經歷了進一步的演變。
1993年,麻省理工學院的學生Matthew Gray開發了第一個"WWW Wanderer"程式,它可以按照網頁之間的超連結一個一個地訪問。最初,"WWW Wanderer"主要用於統計互聯網上的伺服器數量,後來增加了捕捉URL的功能。儘管它功能相對簡單,但它為未來搜尋引擎的發展提供了有價值的參考。這個想法激勵了許多研究開發者在此基礎上進一步改進和擴展,並將spider程序抓取的資訊用於建立索引。同年,英國Nexor公司的Martin Koster創建了"Aliweb",它採用了不同的方法,允許用戶主動提供網頁信息,而不是由程序主動索引。這導致了搜尋引擎發展的兩大分支。
1994年是搜尋引擎發展的重要一年。華盛頓大學的學生Brain Pinkerton開發了第一個能夠提供全文檢索的搜尋引擎"WebCrawler"。在此之前,搜尋引擎只能提供URL或人工摘要的檢索。從那時起,全文檢索技術成為搜尋引擎的標準功能。同年,史丹佛大學的學生楊致遠和David Filo創立了"Yahoo",這是一個入口網站,雖然索引是由人工輸入的,但它推動了信息搜索的概念。卡內基美隆大學的Michael Maldin創建了"Lycos",它提供了搜索結果的相關性排序和網頁自動摘要。
1995年,一種新型的搜尋引擎出現,稱為"元搜尋引擎",由華盛頓大學的學生Eric Selburg和Oren Etizioni開發。這種引擎將用戶的查詢請求分發給多個獨立的搜尋引擎,然後統一返回查詢結果。然而,由於各個獨立搜尋引擎的搜索結果評分標準不同,所以"元搜尋引擎"經常返回一些不相關的結果,因此並沒有取得成功。
同年,DEC公司推出了全文檢索搜尋引擎"AltaVista",它支援自然語言搜索和布林運算式(如AND、OR、NOT等)進階搜索功能,還提供了新聞群組搜索、圖片搜索等具有劃時代意義的功能。
1998年,史丹佛大學的學生Larry Page和Sergey Brin創立了Google,這是一個後來在全球影響深遠的搜尋引擎。Google使用了PageRank演算法,根據網頁之間的超連結關係來計算網頁的重要性。這個演算法大大提高了搜索結果的相關性,使得Google後來佔據了全球搜尋引擎市場的主導地位。
參考資料:深智數位《CV+AI自己動手完成圖像搜尋引擎》